Apprentissage statistique pour la constitution des corpus d'évaluation

RÉSUMÉ. La constitution de corpus d’évaluation est une étape essentielle pour évaluer la performance des systèmes de recherche d’information. Le coût de développement de tels corpus est en général assez élevé à cause en particulier de l’effort humain nécessaire à l’évaluation de la pertinence des documents pour chaque requête. Cette difficulté devient un véritable goulot d’étranglement dans le cas de corpus de très grande taille. Le travail que nous présentons vise à sélectionner adaptativement les documents des corpus d’évaluation. Nous utilisons pour cela des algorithmes d’apprentissage statistique qui optimisent des critères d’ordonnancement. Nous présentons des essais d’un algorithme d’ordonnancement, dit RankBoost, sur des données de TREC et analysons les résultats obtenus au moyen de différents critères. Les résultats de ces analyses montrent que la méthode proposée permet de créer des corpus d’évaluation de qualité supérieure à la méthode de TREC.